VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression
利用大语言模型作为内在编码器进行视觉令牌压缩
🧭 视觉令牌压缩 · VLM推理效率
Anhui Province Key Laboratory of Digital Security, University of Science and Technology of China
提出 VisCo，把预训练 VLM 重用为内在视觉令牌压缩器，用参数共享自编码器和记忆令牌实现高压缩比下的领先性能。
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可复用已部署的 VLM 作为视觉特征压缩器，避免引入外部模块和重训练成本，直接降低推理延迟。
- 记忆令牌（memory tokens）的压缩方式类似推荐系统中的语义 ID 压缩，可将高维视觉特征蒸馏为少量可学习令牌，适合大量商品图片的在线编码。
- 层级信息传递机制可用于多尺度商品视觉特征提取，在不增加额外参数的前提下保留细粒度信息，提升下游检索或推荐质量。
- 极端压缩（如单令牌）下性能稳定，适合对实时性要求高的推荐场景，如首页商品卡片渲染、搜索结果的首图压缩。